Validação de um Algoritmo de Inteligência Artificial para a Predição Diagnóstica de Doença Coronariana: Comparação com um Modelo Estatístico Tradicional / Validation of an Artificial Intelligence Algorithm for Diagnostic Prediction of Coronary Disease: Comparison with a Traditional Statistical Model

Resumo Fundamento: A análise prognóstica multivariada tem sido realizada tradicionalmente por modelos de regressão. No entanto, muitos algoritmos surgiram, capazes de traduzir uma infinidade de padrões em probabilidades. A acurácia dos modelos de inteligência artificial em comparação à de modelos estatísticos tradicionais não foi estabelecida na área médica. Objetivo: Testar a inteligência artificial como um algoritmo preciso na predição de doença coronariana no cenário de dor torácica aguda, e avaliar se seu desempenho é superior a do modelo estatístico tradicional. Métodos: Foi analisada uma amostra consecutiva de 962 pacientes admitidos com dor torácica. Dois modelos probabilísticos de doença coronariana foram construídos com os primeiros 2/3 dos pacientes: um algoritmo machine learning e um modelo logístico tradicional. O desempenho dessas duas estratégias preditivas foi avaliado no último terço de pacientes. O modelo final de regressão logística foi construído somente com variáveis significativas a um nível de significância de 5%. Resultados: A amostra de treinamento tinha idade média de 59 ± 15 anos, 58% do sexo masculino, e uma prevalência de doença coronariana de 52%. O modelo logístico foi composto de nove preditores independentes. O algoritmo machine learning foi composto por todos os candidatos a preditores. Na amostra teste, a área sob a curva ROC para predição de doença coronariana foi de 0,81 (IC95% = 0,77 - 0,86) para o algoritmo machine learning, similar à obtida no modelo logístico (0,82; IC95% = 0,77 - 0,87), p = 0,68. Conclusão: O presente estudo sugere que um modelo machine learning acurado não garante superioridade à um modelo estatístico tradicional

Abstract Background: Multivariate prognostic analysis has been traditionally performed by regression models. However, many algorithms capable of translating an infinity of patterns into probabilities have emerged. The comparative accuracy of artificial intelligence and traditional statistical models has not been established in the medical field. Objective: To test the artificial intelligence as an accurate algorithm for predicting coronary disease in the scenario of acute chest pain and evaluate whether its performance is superior to traditional statistical model. Methods: A consecutive sample of 962 patients admitted with chest pain was analyzed. Two probabilistic models of coronary disease were built using the first two-thirds of patients: a machine learning algorithm and a traditional logistic model. The performance of these two predictive strategies were evaluated in the remaining third of patients. The final logistic regression model had significant variables only, at the 5% significance level. Results: The training sample had an average age of 59 ± 15 years, 58% males, and a 52% prevalence of coronary disease. The logistic model was composed of nine independent predictors. The machine learning algorithm was composed of all candidates for predictors. In the test sample, the area under the ROC curve for prediction of coronary disease was 0.81 (95% CI = 0.77 - 0.86) for the machine learning algorithm, similar to that obtained in logistic model (0.82; 95% CI = 0.77 - 0.87), p = 0.68. Conclusion: The present study suggests that an accurate machine learning prediction tool did not prove to be superior to the statistical model of logistic regression.

Competência Prognóstica Distinta entre Modelo Clínico e Anatômico em Síndromes Coronarianas Agudas: Comparação por Tipo de Desfecho / Prognostic Contrast between Anatomical and Clinical Models Regarding Fatal and Non-Fatal Outcomes in Acute Coronary Syndromes

Resumo Fundamento Eventos isquêmicos recorrentes decorrem de instabilidade de placa aterosclerótica, enquanto morte após um evento isquêmico decorre da gravidade do insulto. A natureza diversa desses tipos de eventos pode fazer com que dados clínicos e anatômicos tenham diferentes capacidades prognósticas a depender do tipo de desfecho. Objetivo Identificar as predileções prognósticas de dados clínicos e dados anatômicos em relação a desfechos coronários fatais e não fatais durante hospitalização de pacientes com síndromes coronarianas agudas (SCA). Métodos Pacientes consecutivamente admitidos por SCA que realizaram coronariografia foram recrutados. O escore SYNTAX foi utilizado como modelo anatômico e o escore GRACE como modelo clínico. A capacidade preditora desses escores foi comparada quando à predição de desfechos isquêmicos não fatais (infarto ou angina refratária) e de morte cardiovascular durante hospitalização. Significância estatística foi definida por p < 0,05. Resultados Entre 365 indivíduos, 4,4% foi a incidência de óbito hospitalar e 11% de desfechos isquêmicos não fatais. Para morte cardiovascular, ambos os escores — SYNTAX e GRACE — apresentaram capacidade discriminatória, com estatísticas-C similares: 0,80 (95%IC: 0,70-0,92) e 0,89 (95%IC 0,81-0,96), respectivamente — p=0,19. Quantos aos desfechos isquêmicos não fatais, o escore SYNTAX apresentou valor preditor (estatística-C = 0,64; 95%IC 0,55-0,73), porém o escore GRACE não mostrou associação com esse tipo de desfecho (estatística-C = 0,50; 95%IC: 0,40-0,61) — p=0,027. Conclusão Os modelos clínico e anatômico predizem satisfatoriamente morte cardiovascular em SCA, enquanto a recorrência de instabilidade coronária é melhor prevista por características anatômicas do que por dados clínicos. (Arq Bras Cardiol. 2020; 115(2):219-225)

Abstract Background Recurrent ischemic events are mediated by atherosclerotic plaque instability, whereas death after an ischemic event results from gravity of insult and ability of the organism to adapt. The distinct nature of those types of events may respond for different prediction properties of clinical and anatomical information regarding type of outcome. Objective To identify prognostic properties of clinical and anatomical data in respect of fatal and non-fatal outcomes of patients hospitalized with acute coronary syndromes (ACS). Methods Patients consecutively admitted with ACS who underwent coronary angiography were recruited. The SYNTAX score was utilized as an anatomic model and the GRACE score as a clinical model. The predictive capacity of those scores was separately evaluated for prediction of non-fatal ischemic outcomes (infarction and refractory angina) and cardiovascular death during hospitalization. It was considered as significant a p-value <0,05. Results EAmong 365 people, cardiovascular death was observed in 4,4% and incidence of non-fatal ischemic outcomes in 11%. For cardiovascular death, SYNTAX and GRACE score presented similar C-statistic of 0,80 (95% IC: 0,70 - 0,92) and 0,89 (95% IC 0,81 - 0,96), respectively - p = 0,19. As for non-fatal ischemic outcomes, the SYNTAX score presented a moderate predictive value (C-statistic = 0,64; 95%IC 0,55 - 0,73), whereas the GRACE score did not presented association with this type of outcome (C-statistic = 0,50; 95%IC 0,40-0,61) - p = 0,027. Conclusion Clinical and anatomic models similarly predict cardiovascular death in ACS. However, recurrence of coronary instability is better predicted by anatomic variables than clinical data. (Arq Bras Cardiol. 2020; [online].ahead print, PP.0-0)